ZeroGR：生成式推荐的过滤优先约束解码系统
🧭 生成式推荐 · SID 约束解码 ★ 深度解读
The University of Hong Kong · Peking University · Kuaishou Technology · Huazhong University of Science and Technology
提出过滤优先的 GPU 约束解码系统，先滤除非法 SID 再算 logits，召回与先打分几乎一致且延迟最高降 9.9×
📌 工作参考价值（4 点）
- 生成式推荐/搜索里如果采用 SID 或树约束解码，建议把 filtering 前置到 projection 之前：先查有效 next tokens，再只对有效 token 计算 logits。论文在 MovieLens-1M 上验证先过滤与先打分返回物品重叠 99.90%，召回一致，但投影计算量可下降 85%–99.95%。这基本可以无痛迁移到线上解码器，先上线 A/B 验证质量即可。
- 过滤索引按解码步切片，并按各步有效候选密度混用稀疏/稠密表示：早期 dense 对齐 token 列，后期 sparse 只存有效 SID，且用 entry position 隐式表示 successor state，省掉 successor 数组和 item id 存储。对显存敏感、目录亿级 item 的场景可显著减少 GPU 索引占用。
- 执行层用“共享候选槽位 + hybrid projection”：每个 beam 固定槽位，过滤/打分/选择直接读写同一槽位，避免动态 prefix sum；每步用 warm-up 在 full 与 selective projection 之间选最快，避免稀疏步不规则 kernel 反而拖慢。适合在 CUDA/Triton 实现 SID 解码时复用。
- 索引重建采用两遍 CPU 布局引导并行填充 + 双缓冲 pinned memory 异步 H2D 流式搬运，把重建延迟压到更新窗口内，且不与在线推理抢 GPU/带宽。电商 item 目录频繁更新时可直接借鉴。
微调数据预处理选择对LLM推荐效用与人口统计敏感性的影响
🧭 生成式推荐 · 数据预处理与公平性
Istanbul Technical University
系统评估微调预处理对LLM生成式推荐效用与公平性的影响，并验证目录约束解码与提示增强的有效性
📌 工作参考价值（4 点）
- 采用 catalog-constrained decoding（基于合法商品/标题集合约束解码）可从根本上避免 LLM 生成不存在的商品或标题，并保证固定长度输出；对电商推荐落地非常关键。
- 微调数据中 item-title 表示显著影响效用：优先保留原始商品标题而非清洗/简化文本。该研究显示原始标题使 HR@10 从 10.67% 提升到 12.47%，Coverage@10 从 41.36% 提升到 47.88%。
- prompt augmentation（补充用户/商品上下文模板）可提升 prompt 一致性与推荐效用，适合作为低成本数据增强/正则化手段。
- 人口统计平衡具有属性依赖性：年龄平衡和知识增强可在不损失效用下缩小部分群体差异，但性别平衡可能损害效用且不改善性别指标；业务中不要盲目平衡所有敏感属性，应分属性评估。
Octen-WebGR：将生成式检索扩展到2亿网页
🧭 生成式检索 · Semantic ID ★ 深度解读
Octen AI
首个覆盖2亿网页的生成式检索模型，用两token语义ID直接生成URL，导航点击命中率59.6%
📌 工作参考价值（5 点）
- 商品/落地页生成式索引：可把商品或页面编码为两 token Semantic ID；用标题/类目+高频搜索词构造类似 URL text 的文本，经残差量化+碰撞消解生成唯一 ID。两套 token（s0/s1）比共享 token 更能区分语义前缀与组内排序。
- 训练采样与曝光：点击对按 n(q,u)/Nq × Nq^β (β=0.5) 加权，平衡头部 query 与长尾；对导航/转化集中 query 加保底样本；document-indexing 把商品文本当 query，一次曝光覆盖多条关联 query。
- 推理与资源：constrained beam search 只输出存在 item，避免下架商品/假 URL；点击表可用 lookup→GR 兜底。GR 4B 模型单 GPU 10GB，比 exact dense 索引省约40倍内存。
- 混合路由：GR 擅长热门 item 的新 query 表达，dense 擅长冷 item；用 GR 首位 item 的训练对数 + beam 概率做 serving 路由，可同时拿到两者优势，电商搜索/推荐可直接复用。
- 扩展训练：遗忘主要由曝光后的累积学习率 Λ 决定，而非模型容量；把高价值 pair 放在低 Λ 的晚期窗口曝光，或加大 batch 并等比升 lr，能提升保留率与样本效率。
在推测式检索增强生成中保证忠实证据提取
🧭 RAG 忠实证据提取与解码约束
Université de Toulouse - IRIT UMR 5505 · Airbus Protect
提出CHyD，将投机解码改造为强制约束解码，保证引用片段逐字来自检索文档，技术领域准确率接近完美
📌 工作参考价值（4 点）
- 在电商/广告合规文案、商品政策解释、客服问答等场景，需要引用原文保证信息准确时，可以使用硬约束解码限制生成内容必须来自检索到的商品详情、条款或文档 span，从机制上避免幻觉。
- 将 speculative decoding 的目标从加速改为 faithfulness 验证，思路可迁移：用草稿模型提出候选 span，再用约束目标模型验证是否逐字匹配，既保留一定效率又保证忠实。
- 对于需要精确抽取的任务（如商品属性提取、广告审核依据、搜索中的摘要引用），优先选择 constrained decoding 而非依赖模型自觉引用，能把抽取准确率从低于 40% 提升到接近 100%，代价是牺牲部分流畅性，适合准确性优先场景。
- 该思路可以用于 Agent 的检索增强工具：当 Agent 需要引用外部知识回答时，约束其输出为检索结果的连续片段，可显著降低事实性错误和不可验证引用。
解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
CogRec：基于语义ID结构认知的快慢推理生成式推荐
🧭 生成式推荐 · Semantic ID · 结构推理 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · School of Artificial Intelligence, Beijing Normal University · JD.com
将推荐推理定义为SID空间内的Match/LateralJump/Explore操作，实现结构认知的快慢组合推理
📌 工作参考价值（4 点）
- 构建语义ID拓扑增强推理：在现有SID分层编码基础上，利用码本余弦相似度构建层内语义图（top-16邻居，相似度阈值0.15），并建立项级HNSW索引，为生成式推荐提供可导航的离散推理空间，可直接应用于电商商品的Semantic ID体系。
- 操作化快慢推理：将推理过程分解为Match（快速垂直匹配）、LateralJump（沿图边横向跳转）和Explore（无直接边时的探索），根据历史锚点与目标项的层间关系自动生成路由监督，无需额外模块，可通过控制非Match步数调节推理深度，适合线上自适应推理策略。
- 多阶段训练管线设计：先对齐新增SID token embedding（冻结基座），再训练直接SID生成，最后从同一checkpoint分叉出自然语言推理和结构路由分支，保证公平对比且工程可控。训练时对用户历史与助理回复全掩码计算loss，直接强化输入侧SID表征。
- 推理格式的选择依据：实验表明当用户历史与目标前缀匹配不足但存在可学习的层内语义关系时（中等难度），结构路由推理优于语言推理和直接生成；否则直接生成更高效。这可为业务中是否启用推理模块提供决策参考。
LBR：缓解大语言模型推荐中的长度偏差
🧭 LLM 推荐偏差缓解 ★ 深度解读
Zhejiang University · The Chinese University of Hong Kong · University of Science and Technology of China · Bangsun Technology
首次识别并缓解 LLM 推荐中输入注意力偏差和输出解码偏差，提出轻量级长度感知注意力校准与有效信息长度归一化
📌 工作参考价值（4 点）
- 在电商/搜索推荐中，若使用 LLM 基于文本描述生成候选商品，可借鉴 有效信息长度归一化 改善排序分数：利用商品标题 Trie 树约束的节点分支数计算 token 信息量，归一化时使用信息长度而非 token 长度，避免偏好短或长商品，一站式解决长短标题 bias。
- 在 LLM 输入 prompt 中，不同长度商品描述会导致长商品获得过多注意力，可借鉴 长度感知注意力偏移 方法：根据商品 token 长度在注意力 logits 中加入偏移（如 δ(l) = -log(a·l+b)），仅需两个额外参数，几乎不增加训练开销。
- 对于已采用约束解码（前缀树）生成有效商品的 LLM 推荐系统，LBR 可插件式集成，无需改动模型结构，实验显示平均 NDCG@5 提升 16.82%。
- 在搜索词推荐或 query 改写场景，也可利用 query 模板的 Trie 结构计算信息量，改进候选排序公平性。
开放权重LLM中的约束税：结构化输出导致工具调用抑制的实证研究
🧭 Agent工具调用与结构化输出约束交互 ★ 深度解读
Focus AI Center, Focus Technology Co., Ltd. · Nanjing University of Science and Technology
多个开源模型在工具调用与JSON Schema约束共存时工具调用被完全抑制，根因是语法解码掩码排除工具token，并提出两阶段执行缓解
📌 工作参考价值（4 点）
- 在电商/推荐Agent中，若同时启用工具调用（如检索数据库、调用API）与JSON Schema结构化输出，需警惕工具调用被静默抑制的风险。生产环境可考虑解耦：先执行工具调用获取结果，再让模型生成符合schema的最终回复，避免约束在解码层互相冲突。
- 推理框架选型时注意：SGLang/vLLM等通过语法掩码强制schema合规，会从logits层面排除工具调用token（如XML标签的<）。若必须同时约束，可探索允许工具调用token的混合语法，或使用非掩码的schema引导（如仅靠prompt约束）。
- 评估Agent系统不能仅独立测试工具使用和格式合规。必须设计联合约束下的端到端成功率测试，监控工具调用率与抑制率，防止上线后出现“格式合规但未获取外部数据”的隐性失效。
- 微调（SFT、GRPO等）无法绕过掩码层限制，因为权重优化在掩码之前。该发现表明，常规对齐手段无法解决此问题，需要从推理栈层面进行工程化防护。
基于类别引导的潜在意图推理：电商生成式检索的桥接语义鸿沟
🧭 生成式推荐 · 潜在推理 · 类别层级 ★ 深度解读
Beihang University · Meituan · Renmin University of China · Beijing Information Science and Technology University
CaLIR 利用产品类别层级在连续空间进行潜在意图推理，避免显式 CoT 的延迟，高效桥接查询与语义 ID 的鸿沟。
📌 工作参考价值（4 点）
- 用产品类别层级做生成式检索的隐式推理脚手架：在电商场景中，可直接复用现有的多级类目体系，将解码器隐藏状态逐层对齐到类目，替代显式思维链，大幅降低线上延迟。
- 多正例对比学习处理多意图查询：电商查询常对应多个有效类目，使用 Multi-Positive InfoNCE 损失，让查询的潜在状态同时靠近所有相关类目原型，提升意图覆盖与鲁棒性。
- 动态装配类别级前缀树约束解码：线下按类目预建语义 ID 前缀 Trie，线上根据推理出的 Top-K 类目动态合并，缩小搜索空间，提高解码准确率且几乎不增加在线开销。
- 粗到细的潜在推理无需显式解码步：插入固定数量的连续隐状态滑动推理（L 步），不产生额外 token，只在 beam search 前一次性计算，批量处理后与编码器状态拼接用于后续解码，适用于低延迟电商搜索。
生成式对话推荐系统：语义ID与结构化生成统一框架
🧭 生成式对话推荐 · Semantic ID · 结构化生成 ★ 深度解读
Nanyang Technological University
将对话推荐统一为自回归生成任务，通过语义ID和结构化分解实现端到端优化，召回提升达29%
📌 工作参考价值（4 点）
- 语义ID替代自然语言标题：在电商对话推荐中，可对商品建立语义ID（通过RQ-VAE量化商品文本描述），将推荐动作转化为ID生成，避免标题幻觉和词汇表爆炸。
- 结构化生成范式：将对话回复分解为“意图（推荐/闲聊）→ 目标商品ID → 自然语言回复”的因果依赖，可在多轮Agent中显式控制推荐决策，提升一致性和可控性。
- 受限解码保证ID忠实性：在推理时通过beam search约束生成有效的商品ID，杜绝“推荐不存在商品”的问题，对电商场景的幻觉控制有直接借鉴。
- 仅微调新token的LoRA策略：保持LLM主干冻结，只训练语义ID、模式等新引入token的嵌入，实现参数高效适配，适合业务中快速迭代多个商品库。